875. Орлов А.И., Савинов Ю.Г., Богданов А.Ю.  Экспертные технологии и их применение при оценивании вероятностей редких событий. - Журнал «Заводская лаборатория. Диагностика материалов». 2014. Т.80. №3. С.63-69.

УДК 629.73:35.078

Экспертные технологии и их применение при оценивании 
вероятностей редких событий

А.И. Орлов, Ю.Г. Савинов, А.Ю. Богданов

Рассмотрено многообразие экспертных технологий, представленных в разделе «Математические методы исследования». Предложена новая технология - процедура опроса и методика экспертного оценивания условных вероятностей редких событий, являющихся параметрами деревьев промежуточных событий при развитии нежелательного события. Проанализированы проблемы, с которыми столкнулись разработчики автоматизированной системы прогнозирования и предотвращения авиационных происшествий (АСППАП) при применении новой технологии.

Ключевые слова: экспертные технологии, деревья событий, условные вероятности, порядковые и количественные шкалы, авиационные происшествия.

	Обсуждение многообразия экспертных технологий, представленных в разделе «Математические методы исследования», раскрывает содержание предыдущих публикаций в нашем журнале, посвященных развитию и современному состоянию важного раздела системного анализа и теории принятия решений – экспертным оценкам. В качестве примера новой экспертной технологии рассмотрены процедуры, нацеленные на оценивание вероятностей редких событий. Такие процедуры весьма актуальны для решения задач анализа, оценки и управления рисками. Рассмотрены проблемы, с которыми столкнулись разработчики автоматизированной системы прогнозирования и предотвращения авиационных происшествий (АСППАП) при применении новой технологии, и способы их решения.

О многообразии экспертных технологий

	Экспертные технологии – обширная совокупность интеллектуальных инструментов для решения научно-технических и социально-экономических задач, а также задач в других областях человеческой деятельности. 
	В чем основная причина все более широкого применения экспертных технологий? Для применения математических методов исследования, независимо от области их использования, нужны исходные данные. Есть два общих пути получения данных – объективные результаты измерений, наблюдений, испытаний, анализов, опытов и субъективные мнения высококвалифицированных специалистов (экспертов). Необходимость и целесообразность разработки и применения методов сбора и анализа экспертных оценок доказана практикой. Например, проведенное в начале 1960-х годов экспертное исследование позволило предсказать момент высадки человека на Луну с точностью до месяца [1]. 
	В разделе «Математические методы исследования» нашего журнала опубликовано достаточно много статей, посвященных разработке новых методов экспертных оценок и обсуждению вопросов их практического применения [2]. В частности, развитие экспертных технологий в нашей стране с научной точки зрения проанализировано в обзоре [3], а с прикладной – в работе [4] одного из ведущих отечественных исследователей в этой области Б.Г. Литвака (1940-2012).
	По нашей экспертной оценке, отечественная научная школа в области теории и практики экспертных оценок создана неформальным исследовательским коллективом вокруг постоянно действующего научный семинар «Экспертные оценки и анализ данных». Этот ведущий в нашей стране научный семинар был организован в 1973 г., долго работал в МГУ им. М.В. Ломоносова, а сейчас проводится в Институте проблем управления РАН. Опубликованная в нашем журнале программная статья [5] наиболее активных руководителей и участников этого семинара Ю.Н. Тюрина, Б.Г. Литвака, А.И. Орлова, Г.А. Сатарова, Д.С. Шмерлинга во многом определила развитие теории и практики экспертных оценок в нашей стране на десятилетия вперед, вплоть до настоящего момента. К сожалению, выпущенный на основе этой статьи препринт [6] не был развернут в подробную монографию. 
	Экспертные технологии – не только проверенные временем инструменты решения конкретных прикладных задач. Это – быстро развивающаяся научная область. В частности, потребности теории и практики экспертных оценок стимулировали разработку новой парадигмы прикладной статистики [7]. Развитие современных областей экспертных оценок шло в тесном взаимодействии с созданием центральной области современных статистических методов – статистики объектов нечисловой природы [8] (краткое название этой области прикладной математической статистики – нечисловая статистика [1]). Можно констатировать, что нечисловая статистика является прикладным «зеркалом» современных экспертных технологий. Развитие информационно-коммуникационных технологий позволило разработать и внедрить новую область экспертных оценок – сетевую экспертизу [9]. Отметим, что модификация известного в теории экспертиз метода фокальных объектов дает новые возможности в научно-техническом творчестве [10].
	Необходимость разработки новых математических методов исследования вызвана, в частности, тем, что эксперты дают оценки в различных шкалах измерения, прежде всего в порядковых шкалах, а также в вербальной форме. Поэтому значительная часть публикаций раздела «Математические методы исследования» посвящена методам анализа нечисловых экспертных данных. Эти методы должны быть инвариантны относительно допустимых преобразований шкал измерения. Конкретная шкала выделяется группой допустимых преобразований. Например, для порядковой шкалы таковой является совокупность всех допустимых преобразований шкалы. Порядковую шкалу иногда называют ранговой, поскольку инвариантные методы в этой шкале часто являются функциями от рангов результатов измерений. В обзоре [11] приведена сводка научных публикаций, относящихся к средним величинам, инвариантным относительно допустимых преобразований шкал измерения. Рядом помещена статья [12], в которой выделены основные результаты в рассматриваемой области. Ранее репрезентативная теория измерений была проанализирована с различных сторон в опубликованных рядом статьях [13, 14]. Уточнению (с помощью измеряемых данных) экспертных оценок, выставленных в ранговых шкалах, посвящена статья [15]. Предпочтительность использования медианы экспертных оценок (вместо среднего арифметического) обсуждается в работе [16]. 
	Продолжается интенсивная разработка новых математических моделей получения, анализа и применения экспертных оценок. Так, в статье [17] предложен «турнирный» метод ранжирования вариантов, а в соседней статье дано его теоретическое обоснование [18]. В том же номере журнала в работе [19] проанализированы методы визуального представления тесноты связей. Квантификации (или, как говорят, оцифровке) предпочтений, выраженных в вербальной форме, посвящена статья [20]. Опыт практической работы по анализу дефектности отливок методом экспертных оценок разобран в публикации [21].
	Экспертные оценки – важнейшая составная часть методов принятия решений, в частности, управления рисками и прогнозирования (см., например. обзор [22] по математическим методам оценки рисков). Экспертные технологии активно применяются, например, в Группе компаний «Волга-Днепр», осуществляющей нестандартные грузоперевозки на самых мощных в мире самолетах АН-124 «Руслан» и являющейся мировым монополистом в этой области. В ходе разработки автоматизированной системы прогнозирования и предотвращения авиационных происшествий при организации и производстве воздушных перевозок экспертные опросы летного состава (всего около 20000 экспертных оценок) позволили получить исходные данные для деревьев событий и других математических моделей, предназначенных для оценки эффективности управленческих решений при создании систем обеспечения безопасности сложных технических систем [23]. К теории принятия решений примыкают, в частности, работа [24] по определению весовых коэффициентов на основании экспертных оценок, исследование [25] по обоснованию вида рациональной экспертной оценки знаний учащихся, статья [26], посвященная математическим моделям квалиметрического анализа многофакторных объектов с бинарными факторами.
	Вполне естественно, что именно авторами раздела «Математические методы исследования» опубликованы основные отечественные монографии и учебники по теории и практике экспертных оценок [1, 9, 27, 28]. 
	Современные экспертные оценки предоставляют эффективные инструменты для решения прикладных задач во многих предметных областях, кроме того, сами являются источником дальнейших научных исследований. Раздел «Математические методы исследования» – один из основных отечественных центров публикации работ по этой тематике.
	Итак, экспертное оценивание является, зачастую, незаменимым инструментом, позволяющим разрабатывать обоснованные управленческие решения при отсутствии достаточного объема результатов наблюдений [1, 3, 29]. 
	При разработке автоматизированной системы прогнозирования и предотвращения авиационных происшествий (АСППАП) [23, 30] также возникла необходимость применения экспертных оценок [31]. В частности, их необходимо использовать при моделировании на основе деревьев событий (многообразие моделей на основе деревьев событий рассмотрено в статье [23]). Экспертами оценивались передаточные параметры для дерева событий при развитии авиационного события (происшествия) на основе логико-вероятностной модели [32] (представляющие из себя в первом приближении условные вероятности) в условиях почти полного отсутствия статистических данных. Отсутствие данных связано с несколькими причинами. Во-первых, для сбора части данных требовались большие человеческие и временные затраты, и к моменту проведения экспертного опроса они не были готовы. Во-вторых, часть данных для оценки условных вероятностей невозможно получить в принципе, поскольку промежуточные события из дерева событий [32], не приведшие к авиационному событию, часто никак и нигде не анализируются, не записываются и не сохраняются. Здесь можно привести простую аналогию: затруднительно статистически оценить, с какой вероятностью превышение скорости приведет к автомобильной аварии, поскольку большинство превышений скорости не приводят к авариям и остаются вне поля зрения исследователей.
	Рассмотрим процедуру опроса и методику экспертного оценивания условных вероятностей. Затем проанализируем проблемы, с которыми столкнулись разработчики АСППАП при применении разработанной нами новой экспертной технологии. 

Процедура опроса

Экспертов (наиболее опытных пилотов авиакомпании «Волга-Днепр») просили для пар событий, представленных в анкетах, выставить две экспертные оценки (см. табл.1):
Оценка 1. Отметить каждое осуществившееся событие номером в порядке убывания его влияния на последующее событие по частоте: (1 – если событие наступило, то оно чаще других событий из списка приводит к последующему событию, и т. д.), т.е. сравнить (проранжировать) вероятности осуществления последующего события, если произошли события из левого столбца.
Оценка 2. Оценить каждое осуществившееся событие по 5-ти бальной шкале по силе влияния (1 – практически не влияет, 2 –влияет слабо, 3 -  умеренно влияет, 4 – сильно влияет, 5 – очень сильно влияет), т.е. оценить в балльной системе, насколько велика вероятность осуществления последующего события, если произошло событие из левого столбца.

Таблица 1.
Пример из заполненной основной анкеты
1	Осуществились события	Последующее событие – 
Потеря управляемости при взлете	
		Оценка 1 – 
По убыванию влияния	Оценка 2 -
Влияние по 5-ти балльной шкале	
1.1	Потеря пространственной ориентировки	3	3	
1.2	Обледенение ВС на земле	2	5	
1.3	Нарушение загрузки-центровки ВС	4	3	
1.4	Попадание в спутный след другого ВС	1	5	
1.5	Полет в зоне опасных метеоявлений	5	1	
	Примечание. ВС – воздушное судно.

Кроме этого, экспертов просили для одной пары событий указать в правом столбце (см. табл.2) число случаев (в процентах), когда осуществление события из левого столбца приводит к событию из правого столбца (указанному в столбце «Последующее событие»). 

Таблица 2.
Пример из заполненной дополнительной анкеты.

1	Осуществилось событие	Последующее событие – 
Потеря управляемости при взлете	
1.4	Попадание в спутный след другого ВС 	10%	

События из левого столбца являются редкими и не всегда приводят к последующим событиям. Другими словами, экспертам нужно было оценить, в каком проценте случаев событие из левого столбца все-таки (с учетом «нормальных» условий: метеоусловия простые, посадочная масса средняя, самолет, средства посадки, светосигнальное оборудование полностью исправны) приводят к событиям из правого столбца, при условии, что событие из левого столбца осуществилось. Для лучшего понимания экспертами поставленной перед ними задачи в каждой анкете приводился поясняющий пример следующего характера: 
«Пример. Осуществилось событие – «Попадание в спутный след другого ВС». Это событие способствует событию «Потеря управляемости при взлете», но не обязательно приведет к нему. Реализация события «Потеря управляемости при взлете» зависит от множества факторов, как «внешних», так и «машинных» и «человеческих». Здесь мы считаем, что самолет и оборудование аэродрома исправно, воздействие среды – обычное, среднее. В некоторых случаях пилот, конечно, справится с ситуацией и не допустит потери управляемости. Но в полетах с фактором «Попадание в спутный след другого ВС» может совпасть, например, нежелательное ветровое действие (в пределах среднего) и/или усталость пилота и т.п. и произойдет потеря управляемости. Процент временной потери управляемости при осуществлении события – «Попадание в спутный след другого ВС» и указывается экспертом в правом столбце».

Методы анализа экспертных данных

Пусть некоторое промежуточное событие A в дереве событий зависит от k событий предыдущего уровня B1, B2,…, Bk с логической связкой «или» (логическая связка «и» приводит к одному передаточному коэффициенту, который может быть оценен усреднением ответов экспертов). Таким образом, необходимо оценить k передаточных коэффициентов Pj, в вероятностно-статистической модели имеющих смысл условных вероятностей P(A|Bj), j = 1, 2, …, k. Будем считать, что мы располагаем n экспертами, которые в равной степени компетентны в данной области. Экспертам предлагается заполнить таблицу следующего вида (табл.3).

Таблица 3.
Шаблон анкета экспертного опроса (фрагмент).

Осуществились события	Последующее событие A	
	Оценка 1 –
по убыванию влияния	Оценка 2 –
влияние по 5-ти балльной шкале	
B1			
B2			
…	…	…	
Bk			

Оценка 1 – это кластеризованная ранжировка [1] (допускается одинаковая оценка факторов, в таком случае они объединяются в группу – кластер, ранги внутри кластера усредняются). Оценка 2 – это отнесение фактора к одной из пяти упорядоченных градаций (как при оценке знаний учащихся). Здесь , ; n – число экспертов, k – число событий в группе.
Используя данные анкет с Оценкой 1, строится таблица рангов. В результате n экспертов получают численные оценки k событий , где i = 1, 2, …, n, – номера экспертов,  j = 1, 2, …, k, – номера событий в группе, причем  – это ранг события j для эксперта i (использование связанных рангов допустимо). Тогда весовые коэффициенты событий имеют вид:
.				(1)
Таким образом, вес события – это сумма всех его оценок экспертами, деленный на сумму всех оценок событий экспертами (по всем событиям в группе).
Оценки 1 и 2 разнонаправленные, поэтому для совместного использования оценок первого и второго типов  и  формулу (1) для Оценок 1 и Оценок 2 необходимо модифицировать. То есть, если  – оценка 1 (ранг) события j для эксперта i, то её надо заменить на k+1 - . Данная замена приводит при расчете весовых коэффициентов к следующей формуле:
, 				(2)
где k – число событий в группе.
Проверка согласованности ответов экспертов при использовании экспертных оценок типа 1 состоит в том, что итоговые ранжировки комиссии экспертов строятся двумя способами. Первый – на основе упорядочения сумм рангов (в использованных выше обозначениях –  на основе весов событий, заданных формулой (2) для Оценки 1, формулой (1) для Оценки 2). Второй – на основе упорядочения медиан рангов, выставленных экспертами определенным событиям (при этом итоговой оценкой события j является медиана рангов , где i = 1, 2, …, n – номера экспертов). Две итоговые ранжировки подвергаются процедуре согласования [1], в результате которой события, по поводу упорядочения которых нет единого мнения, выделяются в отдельные кластеры. Весовые коэффициенты для событий, попавших в один кластер, усредняются. 
Идеально, если бы пилоты смогли оценить для каждого из событий B1, B2,…, Bk с какой вероятностью оно приведет, если произошло, к появлению события A. Но, как показывает практика опросов, многим пилотам это сделать трудно. Пилотам легче провести операцию сравнения вероятностей и рисков, которая более свойственна мышлению эксперта (и любого человека), чем операция оценивания в виде числа. Это обнаруженное при опросе пилотов свойство их мышления – частный случай общего утверждения теории экспертных оценок [1, 3, 29]. Поэтому в данной методике оценивается вероятность только одного из событий (по разработанной дополнительной анкете). Это самое важное (или наиболее легкое для экспертного оценивания) событие выбирается на основе результатов предварительного тура анкетирования. Усреднение оценок вероятностей, полученных по дополнительной анкете, происходит одним из четырех способов (в зависимости от разброса значений оценок вероятностей): среднее арифметическое (если отношение максимальной к минимальной оценке менее чем 10); среднее геометрическое (если отношение максимальной к минимальной оценке более 10 и число экспертов менее 5); среднее арифметическое с предварительным исключением двух крайних оценок - максимальной и минимальной (если отношение максимальной к минимальной оценке более 10 и число экспертов не менее 5); среднее арифметическое с предварительным исключением четырех крайних оценок, по две с каждого конца вариационного ряда - двух максимальных и двух минимальных (если отношение максимальной к минимальной оценке более 10 и число экспертов не менее 7). Использование при анализе экспертных данных урезанных средних позволяет повысить устойчивость (робастность) выводов.
Принимается, что отношение , построенное для Оценки 1, показывает, во сколько раз чаще встречается событие j по сравнению с событием . Предположим, что для события с номером  статистическими (на основе соответствующей базы данных) или экспертными (по дополнительной анкете) методами найдена количественная (т.е. численная, измеренная в абсолютной шкале [1], а не порядковая) оценка вероятности . Тогда для события с номером j оценка находится из соотношения
.					(3)
	В случае, если количественно определенными оказываются оценки нескольких событий, зависимость переменной P от переменной  может быть найдена методами регрессионного анализа [33], исходя из пар (, P), для которых P количественно определена. Для остальных пар в качестве оценки вероятности события используются восстановленные значения.
Так как в анкетах не указывается сила проявления события A, которая может быть различной в зависимости от события Bj, j=1, 2, ..., k, вводится скорректированная оценка вероятности, используя оценку 2. Здесь главной причиной коррекции является возможность парирования экипажем воздействия события Bj на появление события A.
Кроме того, во-первых, оценка 2 позволяет определить, правильно ли эксперты поняли методику (если Оценка 1, например, равна 3, то Оценка 2 должна быть не больше, чем у более важных факторов, у которых оценка 1 меньше 3). Во-вторых, оценка 2 позволяет «сбалансировать» оценки на основе оценки 1, дающей ранжировку без учета «расстояния» между сравниваемыми факторами. Например, если эксперт всем факторам поставил высокую Оценку 2 (например, всем 5), то мы по одной вероятности из дополнительной анкеты «восстановим» остальные вероятности с учетом того, что они не сильно отличатся друг от друга (все высокие). Эти рассуждения приводят к следующей формуле для расчета скорректированной условной вероятности:
,  j = 1,…,k				(4)
где  – средняя оценка 2 для j-го фактора, т.е. . 
Можно также предложить следующую процедуру, заменяющую некорректное умножение (формула (3) может дать оценку вероятности, превышающую 1, что некорректно). Если  – исходная вероятность,  – поправочный коэффициент, то вместо формулы  для скорректированной вероятности  нами предлагается следующая формула:
 .					 (5)
Данная формула выводится из соображений пропорционального увеличения или уменьшения в K раз отношения вероятностей «успеха»  и «неудачи» , а именно:
. 
Заметим, что для формулы (3) , и вероятность  может быть скорректирована, если вместо умножения на коэффициент использовать преобразование по формуле (5). Для малых значений (меньше 0,1) вероятности  формулы (3) и (5) дают близкие значения. Аналогично, формула (4)  также быть скорректирована с использованием преобразования (5). 

Опыт использования разработанной экспертной технологии 

Заметим, что формула (4) допускает модификации, например, знаменатель может быть равен 5 (максимальный балл). Кроме этого, более важна модификация с , где . Параметр  отражает нелинейность шкалы 1 - 5 оценки 2 при оценке силы влияния (и возможности парирования) осуществившегося события на последующее событие (по умолчанию в формуле (4) полагаем , что соответствует линейной зависимости вероятности парирования от оценки 2). Кроме этого, параметр  дает возможность учесть возможную априорную информацию о «диапазоне варьирования» оцениваемых вероятностей, поскольку, например, при  методика позволяет разнести вероятности не более чем в 5 раз. Чтобы получить разброс в 2 порядка, необходимо установить, как минимум,  (поскольку 53 = 125) и т.д.
Кроме этого, в процессе применения методики (в течение 2011-2012 гг. проведено несколько сот экспертиз, получено около 20 000 экспертных оценок) выяснилось, что наиболее трудная часть экспертизы - это оценка условных вероятностей редких событий. Несмотря на указания и поясняющие примеры, ряд экспертов допускали следующие ошибки.
Во-первых, часть экспертов давала оценки существенно ниже основной группы. Это было, на наш взгляд, связано с тем, что вместо условных вероятностей  они в анкетах, по разным причинам, ставили оценки безусловных вероятностей  или .
Во-вторых, часть экспертов давала оценки существенно выше основной группы. Это было, на наш взгляд, связано с тем, что вместо условных вероятностей  они в анкетах ставили оценки апостериорных вероятностей . Последнее вполне понятно, поскольку намного труднее оценить (и проверить по статистическим данным), например, с какой вероятностью превышение скорости приведет к автомобильной аварии, чем в каком проценте происшедших аварий было превышение скорости. Поскольку, как уже было замечено во введении, большинство превышений скорости не приводят к авариям и остаются вне поля зрения исследователей. Аналогично, курение приводит к раку легких с относительно малой вероятностью. Ежегодно в мире регистрируется около 1 миллиона новых случаев рака легких при 1,3 миллиарда курильщиков по данным Всемирной Организации Здравоохранения. Соответственно, если бы заболевали только курильщики, то вероятность заболеть в течение всей жизни (60 лет) была бы примерно равна 601 млн. / 1,3 млрд. 0,04. Поэтому, когда медики говорят, что курение приводит к раку легкого примерно в 90% случаев, то имеется в виду именно апостериорная вероятность того, что среди заболевших раком легкого 90% курильщиков.
Кроме этого, для некоторых условных вероятностей редких событий был отмечен большой (более чем в 10 раз) разброс в оценках. С этим приходилось бороться на стадии статистической обработки, используя, как принято в некоторых видах спорта, усреднение с предварительным исключением одного-двух максимальных и минимальных оценок, т.е. урезанное среднее [33 (если отношение максимальной к минимальной оценке более 10 и число экспертов не менее 7) или усреднение с помощью среднего геометрического (если отношение максимальной к минимальной оценке более 10 и число экспертов менее 5).
Используя имеющиеся статистические данные авиакомпании (полетную информацию), удалось оценить некоторые условные вероятности для деревьев событий. Так, например, были получены списки посадок с повышенной вертикальной скоростью и списки грубых посадок. В этом случае оценка условной вероятности считается по формуле: P(«Грубая посадка»|»Посадка с повышенной вертикальной скоростью») = (Число грубых посадок, при которых была повышенная вертикальная скорость) / (Число посадок с повышенной вертикальной скоростью) 0,02. 
После этого, сравнивая полученные с помощью статистического анализа полетной информации вероятности с вероятностями, которые дали эксперты, можно делать выводы об уровне компетенции экспертов с последующим ранжированием группы экспертов. 
Итак, разработанная экспертная технология позволяет оценивать передаточные параметры и корректировать базовые средние вероятности для дерева событий при развитии авиационного события (происшествия) на основе логико-вероятностной модели [32]. Совместное использование в анкетах двух ранговых разнонаправленных оценок и вспомогательной абсолютной оценки позволяет учесть влияние барьеров предотвращения и парирования (в экспертном отражении) на вероятность события верхнего уровня в дереве событий. Оценка 2 позволяет «сбалансировать» оценки передаточных коэффициентов на основе оценки 1, дающей ранжировку без учета «расстояния» между сравниваемыми факторами, на основе оценки 2 можно некоторым образом оценивать близость по влиянию (или, наоборот, различие) факторов опасности. Ранжирование группы экспертов (или приписывание им весов в соответствии с предварительно оцененными уровнями их компетентности) и более продвинутые процедуры на этапе проверки согласованности мнений экспертов являются важными частями экспертного оценивания, и им целесообразно посвятить отдельные публикации.
Необходимо сопоставление двух подходов к получению важных для управления безопасностью полетов и предотвращения авиационных происшествий выводов (например, оценок вероятностей авиационных событий/происшествий) – на основе экспертных технологий и на основе анализа статистических данных. Дело в том, что рассматриваемые события зачастую встречаются в единичных случаях (менее 10 случаев за все время наблюдения), например, с частотой порядка 10-5, поэтому доверительные границы для вероятностей весьма широки. Как следствие, нельзя априори утверждать, что анализ статистических данных дает более точные результаты, чем экспертные технологии.
Мы благодарны сотрудникам АК «Волга-Днепр», участвовавшим в проведении экспертных опросов.
В терминах статьи [34] разработанную нами экспертную технологию оценки вероятностей редких событий следует отнести к высоким статистическим технологиям.

ЛИТЕРАТУРА

1. Орлов А. И. Организационно-экономическое моделирование: учеб. Ч.2. Экспертные оценки. - М.: Изд-во МГТУ им. Н.Э. Баумана, 2011. - 486 с.
2. Новиков Д. А., Орлов А. И. Экспертные оценки – инструменты аналитика / Заводская лаборатория. Диагностика материалов. 2013. Т.79. №4. С.3-4.
3. Орлов А.И. О развитии экспертных технологий в нашей стране / Заводская лаборатория. Диагностика материалов. 2010. Т.76. №11. С.64-70.
4. Литвак Б. Г. Экспертиза в России / Заводская лаборатория. 2000. Т.66. №7. С. 61-66.
5. Тюрин Ю. Н., Литвак Б. Г., Орлов А. И. и др. Анализ нечисловой информации / Заводская лаборатория. 1980. Т.46. №10. С. 931-935. 
6. Тюрин Ю. Н., Литвак Б. Г., Орлов А. И. и др. Анализ нечисловой информации (препринт). - М.: Научный Совет АН СССР по комплексной проблеме «Кибернетика», 1981. - 80 с.
7. Орлов А. И. Новая парадигма прикладной статистики / Заводская лаборатория. Диагностика материалов. 2012. Том 78. №1, часть I. С.87-93.
8. Орлов А. И. Тридцать лет статистики объектов нечисловой природы (обзор) / Заводская лаборатория. Диагностика материалов. 2009. Т.75. №5. С.55-64.
9. Сетевая экспертиза / Под ред. Д.А. Новикова, А.Н. Райкова. – М.: Эгвес, 2010. – 168 с.
10. Сидельников Ю. В. Модификация метода фокальных объектов: новые возможности в творчестве / Заводская лаборатория. Диагностика материалов. 2012. Том 78. №1, часть I. С.93-101.
11. Барский Б. В., Соколов М. В. Средние величины, инвариантные относительно допустимых преобразований шкалы измерения / Заводская лаборатория. Диагностика материалов. 2006. Том 72. №1. С.59-67.
12. Орлов А. И. Математические методы исследования и теория измерений / Заводская лаборатория. Диагностика материалов. 2006. Том 72. №1. С.67-70.
13. Толстова Ю. Н. Краткая история развития репрезентативной теории измерений / Заводская лаборатория. 1999. Т.65. №3. С.49-56.
14. Орлов А. И. Репрезентативная теория измерений и ее применения / Заводская лаборатория. 1999. Т.65. №3. С. 57-62.
15. Стрижов В. В. Уточнение экспертных оценок, выставленных в ранговых шкалах, с помощью измеряемых данных / Заводская лаборатория. Диагностика материалов. 2011. Том 77. №7. С.72-78.
16. Цейтлин Н. А. Среднемедианный показатель положения выборки экспертных оценок / Заводская лаборатория. Диагностика материалов. 2010. Том 76. №7. С.69-72.
17. Файн В. Б., Дель М. В. «Турнирный» метод ранжирования вариантов / Заводская лаборатория. Диагностика материалов. 2005. Т.71. №7. С.58-60.
18. Орлов А. И. Теоретическое обоснование «турнирного» метода ранжирования вариантов / Заводская лаборатория. Диагностика материалов. 2005. Т.71. №7. С.60-61.
19. Лагутин М. Б. Визуальное представление тесноты связей / Заводская лаборатория. Диагностика материалов. 2005. Т.71. №7. С.53-58
20. Шахнов И. Ф. Квантификация предпочтений, выраженных в вербальной форме / Заводская лаборатория. Диагностика материалов. 2013. Т.79. №1. С.77-79.
21. Крушенко Г. Г., Кокшаров И. И., Торшилова С. И., Крушенко С. Г. Анализ дефектности отливок методом экспертных оценок / Заводская лаборатория. Диагностика материалов. 2000. Т.66. №5. С.64-66.
22. Пугач О. В. Математические методы оценки рисков / Заводская лаборатория. Диагностика материалов. 2013. Т.79. №7. С.
23. Хрусталев С. А., Орлов А. И., Шаров В. Д. Математические методы оценки эффективности управленческих решений / Заводская лаборатория. Диагностика материалов. 2013. Т.79. №11. С.
24. Зотьев Д. Б. К проблеме определения весовых коэффициентов на основании экспертных оценок / Заводская лаборатория. Диагностика материалов. 2011. Т.77. №1. С.75-78.
25. Цейтлин Н. А. Рациональная экспертная оценка знаний учащихся / Заводская лаборатория. Диагностика материалов. 2010. Т.76. №11. С.70-72.
26. Шахнов И. Ф. Некоторые модели квалиметрического анализа многофакторных объектов с бинарными факторами / Заводская лаборатория. Диагностика материалов. 2010. Т.71. №5. С.59-65. 
27. Литвак Б. Г. Экспертные технологии в управлении. – М.: Дело, 2004. - 400 с.
28. Сидельников Ю. В. Системный анализ экспертного прогнозирования. - М.: МАИ, 2007. - 453 с.
29. Орлов А. И. Организационно-экономическое моделирование: теория принятия решений. — М. : КноРус, 2011. — 568 с.
30. Бутов А. А., Волков М. А., Макаров В. П., Орлов А. И., Шаров В. Д. Автоматизированная система прогнозирования и предотвращения авиационных происшествий при организации и производстве воздушных перевозок // Известия Самарского научного центра Российской академии наук. 2012. Том 14. № 4(2). С.380-385.
31. Орлов А. И., Савинов Ю. Г., Богданов А. Ю. Опыт экспертного оценивания условных вероятностей редких событий при разработке автоматизированной системы прогнозирования и предотвращения авиационных происшествий // Известия Самарского научного центра Российской академии наук. 2012. Том 14. № 4(2). С.501-506.
32. Шаров В. Д., Макаров В. П. Методология применения комбинированного метода FMEA-FTA для анализа риска авиационного события // Научный вестник Московского государственного технического университета гражданской авиации. – 2011. –№174(12). – С. 18-24.
33. Орлов А. И. Прикладная статистика. – М.: Экзамен, 2006. – 671 с.
34. Орлов А.И. Высокие статистические технологии / Заводская лаборатория. Диагностика материалов. 2003. Т.69. №11. С.55-60.